MemUse: Moving Memory Evaluation from Direct QA to Natural Integration in Long-Term Human-AI Conversation
长期人机对话记忆评估：从直接追问到自然整合的 MemUse
🧭 LLM 长期对话记忆评估
Graduate School of Informatics, Kyoto University
发现直接问答记忆准确率与用户满意度无关，提出自然整合评估基准 MemUse，揭示 71 点巨大差距
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中，长期记忆评估不要只看「直接提问能否答对」（Direct QA），这类指标与用户满意度可能无相关；应在真实对话流中挖掘「记忆时刻」，评估模型是否在自然回复中主动且恰当地融入历史信息。
- 建立集成感知的自动化评估：对每个记忆时刻，用 LLM-as-judge 检查回复是否自然引用了相关历史事实（而不是仅仅能否回答事实问题）；该指标与满意度相关性更强，可用于回归测试。
- 检索增强记忆系统往往只优化 top-k 准确率，但可能存在高检索准确、低实际使用的问题；可通过「引用率」等下游指标暴露该 gap，指导改进方向：不仅提升检索命中，还要提升相关性检测和上下文融合能力。
- 直接 QA 准确率从 19.7% 到 70.1% 变化，但满意度无显著差异，提示团队在迭代记忆模块时不要过度依赖离线 QA 基准，要做用户满意度 A/B 测试或应用内行为指标。